题目 Semi-Supervised Learning Enabled by Multiscale Deep Neural Network Inversion

作者 Randall Balestriero

日期 2018年

来源 arxiv

tag:semi-supervised learning;loss function

亮点：作者提出一个通用的loss function 使得任何拓扑结构的DNNs都可以进行半监督学习，同时不需要多余的超参数。

主要贡献：

完整的分析论文[1]中的loss function，利用loss-dependent重整化消除超参数

介绍一种新的半监督学习多尺度损失，这个损失函数对初始化、标记数据集的采样以及输入中的噪音呈现具有鲁棒性。

详尽的实验说明了方法的实现了state-of-art的结果

公式：

1.去超参数

原先：

改进：

2.将全局loss（$Γ$）改为多尺度loss($λ $)

因此，文章提出的完整公式为：

PS，个人认为作者实验的时候，$\beta = \frac{1}{log(C)},\beta^{(l)}_R = \frac{1}{L} *\frac{1}{D^{(l)}}$

实验证明：多尺度loss($λ$)要比全局loss（$Γ$）的表现好

下一步可进行的工作：

可以通过计算需求和模型能力之间的标准折衷来实现进一步改进。

找到使得loss function 更加鲁棒的超参数（$β{CE}; β_E; (β^{(l)}_R) ^{L-1}{l=0}$），比如自动更新

考虑batch size & batch 中未标记样本和已标记样本的比率对大规模网络的适应性学习和鲁棒性的影响。

[1] R. Balestriero, V. Roger, H. G. Glotin, and R. G. Baraniuk.Semi-Supervised Learning via New Deep Network Inversion. ArXiv e-prints, Nov. 2017